Applications de la vision omnidirectionnelle à la perception de scènes pour des systèmes mobiles

Ce mémoire présente une synthèse des travaux que j’ai menés à l’ESIGELEC au sein de son institut de recherche l’IRSEEM. Mes activités de recherche ont porté dans un premier temps sur la conception et l’évaluation de dispositifs de mesure de la dynamique de la marche de personnes atteintes de pathologies de la hanche, dans le cadre de ma thèse effectuée à l’université de Rouen en lien le Centre Hospitalo-Universitaire de Rouen. En 2003, j’ai rejoint les équipes de recherche qui se constituaient avec la mise sur pieds de l’IRSEEM, Institut de Recherche en Systèmes Electroniques Embarqués, créé en 2001. Dans ce laboratoire, j’ai structuré et développé une activité de recherche dans le domaine de la vision par ordinateur appliquée au véhicule intelligent et à la robotique mobile autonome. Dans un premier temps, j’ai concentré mes travaux à l’étude de systèmes de vision omnidirectionnelle tels que les capteurs catadioptriques centraux et leur utilisation pour des applications mobiles embarquées ou débarquées : modélisation et calibrage, reconstruction tridimensionnelle de scènes par stéréovision et déplacement du capteur. Dans un second temps, je me suis intéressé à la conception et la mise en œuvre de systèmes de vision à projection non centrale (capteurs catadioptriques à miroirs composés, caméra plénoptique). Ces travaux ont été effectués au travers en collaboration avec le MIS de l‘Université Picardie Jules Verne et l’ISIR de l’Université Pierre et Marie Curie. Enfin, dans le cadre d’un programme de recherche en collaboration avec l’Université du Kent, j’ai consacré une partie de mes travaux à l’adaptation de méthodes de traitement d’images et de classification pour la détection de visages sur images omnidirectionnelles (adaptation du détecteur de Viola et Jones) et à la reconnaissance biométrique d’une personne par analyse de sa marche. Aujourd’hui, mon activité s’inscrit dans le prolongement du renforcement des projets de l’IRSEEM dans le domaine de la robotique mobile et du véhicule autonome : mise en place d’un plateau de mesures pour la navigation autonome, coordination de projets de recherche en prise avec les besoins industriels. Mes perspectives de recherche ont pour objet l’étude de nouvelles solutions pour la perception du mouvement et la localisation en environnement extérieur et sur les méthodes et moyens nécessaires pour objectiver la performance et la robustesse de ces solutions sur des scénarios réalistes

Face Detection & Recognition based on Fusion of Omnidirectional & PTZ Vision Sensors and Heteregenous Database

International audienceLarge field of view with high resolution has always been sought-after for Mobile Robotic Authentication. So the Vision System proposed here is composed of a catadioptric sensor for full range monitoring and a Pan Tilt Zoom (PTZ) camera together forming an innovative sensor, able to detect and track any moving objects at a higher zoom level. In our application, the catadioptric sensor is calibrated and used to detect and track Regions Of Iinterest (ROIs) within its 360 degree Field Of View (FOV), especially face regions. Using a joint calibration strategy, the PTZ camera parameters are automatically adjusted by the system in order to detect and track the face ROI within a higher resolution and project the same in faces-pace for recognition via Eigenface algorithm. Face recognition is one important task in Nomad Biometric Authentication (NOBA 1) project. However, as many other face databases, it will easily produce the Small Sample Size (SSS) problem in some applications with NOBA data. Thus this journal uses the compressed sensing (CS) algorithm to solve the SSS problem in NOBA face database. Some experiments can prove the feasibility and validity of this solution. The whole development has been partially validated by application to the Face recognition using our own database NOBA

A 3D Omnidirectional Sensor For Mobile Robot Applications

International audienc

PHROG: A Multimodal Feature for Place Recognition

International audienceLong-term place recognition in outdoor environments remains a challenge due to high appearance changes in the environment. The problem becomes even more difficult when the matching between two scenes has to be made with information coming from different visual sources, particularly with different spectral ranges. For instance, an infrared camera is helpful for night vision in combination with a visible camera. In this paper, we emphasize our work on testing usual feature point extractors under both constraints: repeatability across spectral ranges and long-term appearance. We develop a new feature extraction method dedicated to improve the repeatability across spectral ranges. We conduct an evaluation of feature robustness on long-term datasets coming from different imaging sources (optics, sensors size and spectral ranges) with a Bag-of-Words approach. The tests we perform demonstrate that our method brings a significant improvement on the image retrieval issue in a visual place recognition context, particularly when there is a need to associate images from various spectral ranges such as infrared and visible: we have evaluated our approach using visible, Near InfraRed (NIR), Short Wavelength InfraRed (SWIR) and Long Wavelength InfraRed (LWIR)

Vers une reconnaissance en ligne d'actions à partir de caméras RGB-D

International audienc

Kinematic Spline Curves: A temporal invariant descriptor for fast action recognition

International audienc

A fast and accurate motion descriptor for human action recognition applications

International audienc

3D real-time human action recognition using a spline interpolation approach

International audienc

An extension of kernel learning methods using a modified Log-Euclidean distance for fast and accurate skeleton-based Human Action Recognition

International audienc